新兴的非挥发记忆设备的备忘录在神经形态硬件设计中显示出有希望的潜力,尤其是在尖峰神经网络(SNN)硬件实现方面。基于Memristor的SNN已成功应用于各种应用程序,包括图像分类和模式识别。但是,在文本分类中实施基于备忘录的SNN仍在探索中。主要原因之一是,培训基于备忘录的SNN用于文本分类是由于缺乏有效的学习规则和不理想性的不存在。为了解决这些问题,并加快了在文本分类应用程序中探索基于备忘录的尖峰神经网络的研究,我们使用经验的Memristor模型开发了使用虚拟备忘录阵列的仿真框架。我们使用此框架来演示IMDB电影评论数据集中的情感分析任务。我们采用两种方法,通过将预训练的人工神经网络(ANN)转换为基于Memristor的SNN或2),通过直接训练基于Memristor的SNN,以获取训练有素的尖峰神经网络:1)通过将预训练的人工神经网络(ANN)转换为基于Memristor的SNN。这两种方法可以在两种情况下应用:离线分类和在线培训。鉴于等效ANN的基线训练精度为86.02%,我们通过将预训练的ANN转换为基于Memristor的SNN的ANN通过将预培训的ANN转换为基于Memristor的SNN的85.88%的分类准确性为85.88%。我们得出的结论是,可以在从ANN到SNN以及从非同步突触到数据驱动的Memristive突触的模拟中实现类似的分类精度。我们还研究了诸如Spike火车长度,读取噪声和重量更新停止条件之类的全局参数如何影响两种方法的神经网络。
translated by 谷歌翻译
备忘录显示了增强神经形态计算概念和AI硬件加速器的有希望的功能。在本文中,我们提出了一个用户友好的软件基础架构,该基础架构允许使用Memristor模型模拟各种神经形态架构。该工具赋予了将备忘录用于在线学习和在线分类任务的研究,从而预测了培训过程中的备忘录抵抗状态的变化。该工具的多功能性是通过功能来展示的,以供用户自定义所使用的Memristor和Neuronal模型中的参数以及所采用的学习规则。这进一步允许用户在广泛的参数中验证概念及其灵敏度。我们通过MNIST分类任务演示了该工具的使用。最后,我们展示了如何使用该工具通过与市售的特征工具进行适当的接口来模拟与实用的回忆设备中研究的概念。
translated by 谷歌翻译
长序列中的子序列异常检测是在广泛域中应用的重要问题。但是,迄今为止文献中提出的方法具有严重的局限性:它们要么需要用于设计异常发现算法的先前领域知识,要么在与相同类型的复发异常情况下使用繁琐且昂贵。在这项工作中,我们解决了这些问题,并提出了一种适用于域的不可知论次序列异常检测的方法。我们的方法series2graph基于新型低维嵌入子序列的图表。 Series2Graph不需要标记的实例(例如监督技术)也不需要无异常的数据(例如零阳性学习技术),也不需要识别长度不同的异常。在迄今为止使用的最大合成和真实数据集的实验结果表明,所提出的方法正确地识别了单一和复发异常,而无需任何先验的特征,以优于多种差距的准确性,同时提高了几种竞争的方法,同时又表现出色更快的数量级。本文出现在VLDB 2020中。
translated by 谷歌翻译
数据系列分类是数据科学中的一个重要且具有挑战性的问题。通过找到导致算法做出某些决策的输入的判别部分来解释分类决策是许多应用程序的真正需求。卷积神经网络对于数据系列分类任务表现良好;但是,对于多元数据系列的特定情况,这种类型的算法提供的解释很差。解决这一重要限制是一个重大挑战。在本文中,我们提出了一种新的方法,可以通过突出时间和维度判别信息来解决此问题。我们的贡献是两个方面:我们首先描述一个卷积架构,可以比较维度;然后,我们提出了一种返回DCAM的方法,DCAM是专为多元时间序列(和基于CNN的模型)设计的尺寸类激活图。使用几个合成数据集的实验表明,DCAM不仅比以前的方法更准确,而且是多元时间序列中判别特征发现和分类说明的唯一可行解决方案。本文出现在Sigmod'22中。
translated by 谷歌翻译
为了寻求低功率,以生物启发的计算均基于回忆性和基于成年的人工神经网络(ANN)一直是对硬件实施神经形态计算的焦点的主题。进一步的一步,要求使用绝热计算的再生电容性神经网络,为降低能源消耗提供了诱人的途径,尤其是与“ Memimpedace”元素结合使用时。在这里,我们提出了一种人工神经元,具有绝热的突触电容器,以产生神经元的膜电位。后者通过动态闩锁比较器实现,并使用电阻随机访问存储器(RRAM)设备增强。我们最初的4位绝热电容性神经元概念验证示例显示了90%的突触能量节省。在4个突触/SOMA时,我们已经看到总体减少35%的能量。此外,工艺和温度对4位绝热突触的影响显示,在整个角落100度摄氏时,最大能量变化为30%,而没有任何功能损失。最后,我们对ANN的绝热方法的功效进行了512和1024突触/神经元的测试,最差和最佳的情况突触载荷条件以及可变的均衡电容的可变量化均等能力量化了均衡电容和最佳功率 - 电信频率范围之间的预期权衡。加载(即活动突触的百分比)。
translated by 谷歌翻译
分布式训练是通过将任务分配到多个NPU(例如GPU/TPU)来减少DNN训练时间的解决方案。但是,分布式培训增加了NPU之间的通信开销,以使梯度和/或激活同步,具体取决于并行化策略。在用于大规模培训的下一代平台中,NPU将通过具有多种多样的异质带宽的多维网络连接。这项工作确定了一个迫在眉睫的挑战,即如果我们利用日程安排技术来使整个系统进行集体沟通,使所有网络维度保持繁忙并最大化网络BW。我们提出了Themis,这是一种新颖的集体调度方案,该方案动态调度集体(分为块)以平衡各个维度的通信负载,从而进一步改善了网络BW利用率。我们的结果表明,平均而言,Themis可以将单个全减还器的网络BW利用提高1.72倍(2.70倍),并改善实际工作负载的端到端训练迭代迭代迭代迭代迭代性能,例如RESNET-152,GNMT ,DLRM和Transformer-1T分别为1.49倍(最大2.25倍),1.30倍(1.78倍),1.30x(最大1.77倍)和1.25X(最大1.53倍)。
translated by 谷歌翻译